Differentielle Entropie

Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.

Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.^[1]

1. ↑ Edwin Thompson Jaynes: Prior Probabilities. In: IEEE Transactions on Systems Science and Cybernetics. Band 4, Nr. 3, 1968, ISSN 0536-1567, S. 227–241, doi:10.1109/TSSC.1968.300117 (wustl.edu [PDF; abgerufen am 1. April 2021]).